台湾对全球碎片流的敏感性和死亡人数最高。台湾现有的碎屑流警告系统,该系统使用降雨量的时间加权度量,当该措施超过预定义的阈值时,会导致警报。但是,该系统会产生许多错误的警报,并错过了实际碎屑流的很大一部分。为了改善该系统,我们实施了五个机器学习模型,以输入历史降雨数据并预测是否会在选定的时间内发生碎屑流。我们发现,随机的森林模型在五个模型中表现最好,并优于台湾现有系统。此外,我们确定了与碎屑流的发生密切相关的降雨轨迹,并探索了缺失碎屑流的风险与频繁的虚假警报之间的权衡。这些结果表明,仅在小时降雨数据中训练的机器学习模型的潜力可以挽救生命,同时减少虚假警报。
translated by 谷歌翻译
Recent times have witnessed an increasing number of applications of deep neural networks towards solving tasks that require superior cognitive abilities, e.g., playing Go, generating art, question answering (such as ChatGPT), etc. Such a dramatic progress raises the question: how generalizable are neural networks in solving problems that demand broad skills? To answer this question, we propose SMART: a Simple Multimodal Algorithmic Reasoning Task and the associated SMART-101 dataset, for evaluating the abstraction, deduction, and generalization abilities of neural networks in solving visuo-linguistic puzzles designed specifically for children in the 6-8 age group. Our dataset consists of 101 unique puzzles; each puzzle comprises a picture and a question, and their solution needs a mix of several elementary skills, including arithmetic, algebra, and spatial reasoning, among others. To scale our dataset towards training deep neural networks, we programmatically generate entirely new instances for each puzzle while retaining their solution algorithm. To benchmark the performance on the SMART-101 dataset, we propose a vision and language meta-learning model using varied state-of-the-art backbone neural networks. Our experiments reveal that while powerful deep models offer reasonable performances on puzzles that they are trained on, they are not better than random accuracy when analyzed for generalization. We also evaluate the recent ChatGPT large language model on a subset of our dataset and find that while ChatGPT produces convincing reasoning abilities, the answers are often incorrect.
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
现在,具有成本效益的深度和红外传感器作为常规RGB传感器的替代方案已成为现实,并且在自主导航和遥控传感等域中具有比RGB的优势。因此,建立计算机视觉和深度学习系统以进行深度和红外数据至关重要。但是,仍然缺乏针对这些模式的大型标签数据集。在这种情况下,将知识从源模式(RGB)的良好标记的大型数据集训练的神经网络转移到在目标模式(深度,红外等)上工作的神经网络具有很大价值。出于内存和隐私等原因,可能无法访问源数据,并且知识转移需要仅与源模型一起使用。我们描述了一个有效的解决方案,插座:无源的跨模式知识转移,用于将知识从一个源模式转移到不同目标模式的具有挑战性的任务,而无需访问与任务相关的源数据。该框架使用配对的任务 - IRRELELERVANT数据以及将目标特征的平均值和方差与源模型中存在的批处理统计信息匹配,从而减少了模态差距。我们通过广泛的实验表明,我们的方法明显优于无法解释模式差距的分类任务的现有无源方法。
translated by 谷歌翻译
在本文中,我们提出了针对中央,局部和洗牌模型中随机线性匪徒问题的差异私有算法。在中心模型中,我们获得了与最佳非私有算法的遗憾,这意味着我们可以免费获得隐私。特别是,我们感到遗憾的是$ \ tilde {o}(\ sqrt {t}+\ frac {1} {\ epsilon})$匹配已知的私有线性匪徒的较低限制,而最佳以前已知的算法实现了$ \ tilde {o}(\ frac {1} {\ epsilon} \ sqrt {t})$。在当地情况下,我们感到遗憾的是$ \ tilde {o}(\ frac {1} {\ epsilon} {\ sqrt {t}} $,与常数$ \ epsilon $相匹配的非私人遗憾,但是当$ \ epsilon $很小时,会受到遗憾的处罚。在洗牌模型中,我们还遗憾地对$ \ tilde {o}(\ sqrt {t}+\ frac {1} {\ epsilon} {\ epsilon})$%$ \ epsilon $,如中心案例,而最佳情况是以前已知的算法对$ \ tilde {o}(\ frac {1} {\ epsilon} {t^{3/5}})$感到遗憾。我们的数值评估验证了我们的理论结果。
translated by 谷歌翻译
联合学习的一个区别特征是(本地)客户数据可能具有统计异质性。这种异质性激发了个性化学习的设计,该学习是通过协作培训个人(个性化)模型的。文献中提出了各种个性化方法,似乎截然不同的形式和方法,从将单个全球模型用于本地正规化和模型插值,再到将多个全球模型用于个性化聚类等。在这项工作中,我们开始使用生成框架,可以统一几种不同的算法并暗示新算法。我们将生成框架应用于个性化的估计,并将其连接到经典的经验贝叶斯方法。我们在此框架下制定私人个性化估计。然后,我们将生成框架用于学习,该框架统一了几种已知的个性化FL算法,并提出了新算法。我们建议并研究一种基于知识蒸馏的新算法,该算法的数值优于几种已知算法。我们还为个性化学习方法开发隐私,并保证用户级的隐私和组成。我们通过数值评估估计和学习问题的性能以及隐私,证明了我们提出的方法的优势。
translated by 谷歌翻译
我们基于新的有条件共同信息(LOO-CMI)的新量度来得出有关监督学习算法的理论概括界。与其他不利于问题结构的黑框界面相反,在实践中可能很难评估,我们的loo-CMI界限可以轻松计算,并且可以通过与其他概念(例如经典的一对一的交叉验证,优化算法的稳定性和损失景观的几何形状。它既适用于训练算法的输出及其预测。我们从经验上通过评估其在深度学习的情况下评估其预测的概括差距来验证界限的质量。特别是,我们的界限在大规模的图像分类任务上是无效的。
translated by 谷歌翻译
我们考虑一个多代理网络,其中每个节点具有随机(本地)成本函数,这取决于该节点的决策变量和随机变量,并且进一步的相邻节点的判定变量是成对受约束的。网络具有总体目标函数,其在节点处的本地成本函数的预期值ack,以及网络的总体目标是将该聚合目标函数的最小化解决方案最小化为所有成对约束。这将在节点级别使用分散的信息和本地计算来实现,其中仅具有相邻节点允许的压缩信息的交换。该文件开发算法,并在节点上获得两个不同型号的本地信息可用性模型的性能界限:(i)样本反馈,其中每个节点可以直接访问局部随机变量的样本,以评估其本地成本,(ii)babrit反馈,其中无随机变量的样本不可用,但只有每个节点可用的两个随机点处的本地成本函数的值可用。对于两种模型,具有邻居之间的压缩通信,我们开发了分散的骑马点算法,从没有通信压缩的那些没有不同(符号意义)的表现;具体而言,我们表明,与全局最小值和违反约束的偏差是由$ \ mathcal {o}的大约限制(t ^ { - \ frac {1} {2}})$和$ \ mathcal {o} (t ^ { - \ frac {1} {4}})分别为$ t $是迭代次数。本文中提供的数值例子证实了这些界限并证明了所提出的方法的通信效率。
translated by 谷歌翻译
结构建筑物的坍塌通常被认为是潜在的错失,已经证明了建筑物的损害,导致事故。必须连续监测人类访问受到限制的故障的任何建筑物。通过在计算机视野领域出现的无人机(无人驾驶飞行器),监测任何建筑物并检测这些故障都被视为一种可能性。本文提出了一种新的方法,其中自动无人机遍历目标建筑物,检测建筑物中的任何潜在故障,并定位故障。通过所提供的建筑物的尺寸,产生了建筑物周围的路径。由UAV的板载摄像机捕获的图像通过神经网络系统来确认存在故障。一旦检测到故障,UAV就会向检测到裂缝的相应位置时操纵。使用ROS(机器人操作系统)使用初始化ROS包装器的AIRSIM环境进行仿真,并提供ROS和AIRSIM的集成接口,与UAV一起模拟。
translated by 谷歌翻译
传统上,联邦学习(FL)旨在培训单个全球模型,同时使用多个客户和服务器进行协作。 FL算法面临的两个自然挑战是跨客户的数据中的异质性以及{\ em多样性资源}客户的协作。在这项工作中,我们介绍了\ textit {量化}和\ textit {个性化} fl算法quped,通过\ textit {knowledge蒸馏}(kd)促进集体(个性化模型压缩)培训,这些客户可以访问异物质数据和资源的客户。对于个性化,我们允许客户学习\ textit {压缩个性化模型},具有不同的量化参数和模型维度/结构。为此,首先,我们提出了一种通过放松的优化问题来学习量化模型的算法,在该问题上也优化了量化值。当每个参与(联合)学习过程的客户对压缩模型(无论是模型维度还是精度)都有不同的要求时,我们通过为当地客户目标引入知识蒸馏损失来制定一个压缩个性化框架,该框架通过全球模型进行协作。我们开发了一个交替的近端梯度更新,以解决此压缩个性化问题,并分析其收敛属性。从数值上讲,我们验证了在各种异质环境中对客户的竞争性个性化方法,FedAvg和本地培训的验证。
translated by 谷歌翻译